Ông tên thật là Nguyễn Ngọc Thiện, quê ở xã Đức Thượng, thuộc phủ Hoài Đức, tỉnh Hà Đông (nay thuộc huyện Hoài Đức, Thành phố Hà Nội).
Bắt đầu tham gia cách mạng từ năm 1944 với nhiệm vụ in và phát hành báo Độc Lập tại quê nhà, năm 1945, ông trở thành Bí thư Thanh niên Cứu quốc thị xã Sơn Tây rồi tham gia bộ đội địa phương hoạt động ở các tỉnh Sơn Tây, Ninh Bình và Nam Định.
Từ tháng 5 năm 1947 đến tháng 2 năm 1955, ông lần lượt giữ các cương vị Tiểu đoàn trưởng, Trung đoàn phó, Trung đoàn trưởng rồi Tham mưu trưởng Đại đoàn 320 (sau là Sư đoàn 320).
Từ tháng 3 năm 1955 đến tháng 7 năm 1960, ông công tác tại Bộ Tổng Tham mưu và giữ chức Cục phó rồi Cục trưởng các Cục Quân huấn và Cục Tác chiến. Năm 1962, sang Liên Xô học.
1967, vào miền Nam trực tiếp chiến đấu và là Phó Tư lệnh Mặt trận B5 (chiến trường Trị Thiên).
